隨著理論的成熟，叢集運算能力的提升，深度神經網路模型逐漸發揮了巨大的影響力。

• 神經元模型
  來自於對動物神經元工作機制的仿真(Simulation)。
• 神經網路
  • 感知器學習演算法(Perceptron Learning Algorithm, PLA)
    是用來描述神經元模型的一種線性分類器。
  • 多層感知器學習演算法(Multi-Layer Perceptron, MLA)
    由多個PLA組成，由非線性激活函數的多次複合，構成了強大的計算能力。
    • 輸入節點(Input Node)：將訊息傳送給隱藏節點
    • 隱藏節點(Hidden Node)：負責計算並將結果傳送給輸出節點
    • 輸出節點(Output Node)：負責對訊息的輸出
• 演算法
  • 感知器(Perceptron)
    • 權值(w)：
      如果當前神經元的輸入值權值與當前神經元激發值的影響為正相關。；
    • 偏移量(b)：
      就像常數作用在多項式函數上一樣，定義了神經元的激發臨界值在空間上對決策邊界(Decision Boundary) 的平移影響。
    • 決策邊界(Decision Boundary)：
      設輸入向量與權向量的內積為零，可得出 n+1 維的超平面。
    • 激勵函數(Activation Function)：
      激勵函數決定神經元在輸入情況的觸發動作。
      • Sigmoid：二焦點曲線函數
      • RelU：整流線性單位函数(Rectified Linear Unit)
  • 代價函數(Cost Function)
    用來描述鏈式法則中結果值的預測值與真實值的誤差。
  • 正向傳播(Forward Propagation)
    從輸入層到輸出層，依據神經元模型的計算規計算與儲存，最後將結果輸出。
  • 反向傳播(Backward Propagation)
    根據鏈式法則中結果值的預測值與真實值的誤差，從輸出層到輸入層的反向順序，進行相對於代價函數梯度下降運算和參數樹更新。
  • 疊代運算
    神經網路模型的運算過程包括正向傳播和反向傳播。